ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
重加权负轨迹重要性用于LLM同策略蒸馏
🧭 LLM同策略蒸馏负轨迹重加权
East China Normal University · Shanghai Innovation Institute
发现错误轨迹在蒸馏中优于正确轨迹，提出用学生-教师概率比加权负轨迹，无需最终答案即可提升推理蒸馏效果
📌 工作参考价值（4 点）
- 在电商搜索推荐或Agent的LLM推理训练中，可借鉴“错误样本更有信息量”的发现，主动提升错误轨迹权重，避免模型退化到保守短答案
- 利用学生-教师概率比作为错误倾向的隐式信号，无需人工标注或最终答案标签，适合在线策略环境下的自动样本加权
- 方法仅依赖前缀概率，支持prefix训练模式，适合资源受限或需要快速迭代的线上蒸馏场景，无需等待完整轨迹
- 对于需要自我反思的推荐解释或广告文案生成，可借助ReNIO保留探索性边界行为，防止过拟合安全但平庸的输出